[R语言] 分组计算

## 对含有大量数据框的列表做函数处理，每个数据框返回一个数据框
## 最后要合并所有数据框为一个数据框
### 函数名称
FUNC=out
### 含有大量数据框的列表
temp=temp
### 要导入各节点的函数和包，在下面添加
library(parallel)
library(rlist)
system.time({ # 用时约4分钟
  # 注册节点，一个核可以算作一个节点
  cl=makeCluster(detectCores())
  # clusterExport 从某个环境调用某个对象给各个节点
  clusterExport(cl, 'FUNC', envir = .GlobalEnv)
  # 注册的每个节点相当于新开一个R session，clusterEvalQ表示在每个节点上执行相同的代码
  # 这里是在每个节点（R session）里面导入滚动回归里面必须依赖的包
  clusterEvalQ(cl,{  
    #setwd("I://anqi//项目//友情出演//xiang") # 数据存放路径
    #library("dplyr")
    #library("lubridate")
    #library("tidyr")
    #library("lazyeval")
    library(fPortfolio)
  })
  # parLapply是Lapply的并行版本，parLapplyLB是负载平衡的版本，可以平衡各个节点的运行时间
  # FUNC后面可以添加函数参数
  re=parLapplyLB(cl,temp,FUNC)
  # 使用时候销毁节点
  stopCluster(cl)
})
result=list.rbind(re)  #  rlist里面这个rbind函数合并数据框的时候，没有把结果强制转换成矩阵，而是保留了原有的数据框格式，速度也很快

## fillTdays是根据一个股票的财务数据数据框，把月频的数据对齐到交易日tdays
fillTdays=function(data,tdays,stock.include=T) {
  ## data列：stock mydate StockIssuing_date，类型是chr chr Date， 后面是各列财报数据，类型为num
  ## tdays: chr
  ## stock.include表示输入是否含有stock列
  ## out类型：stock,mydate,各列
  data=as.data.frame(data)
  if(class(data$StockIssuing_date)!='Date') data$StockIssuing_date=as.Date(as.character(data$StockIssuing_date))
  out=data.frame(matrix(NaN,ncol = ncol(data)-1,nrow = length(tdays)))
  if(stock.include) {
    names(out)=names(data)[-3]; # 去掉StockIssuing
    out$stock=data$stock[1]
  } else {
    
    names(out)=names(data)[-2] # 去掉StockIssuing,首列不是stock时，StockIssuing在第二列
  } 
  
  if(class(tdays)!='Date') out$mydate=as.Date(tdays)
  
  targetPoint=which(!is.na(data$StockIssuing_date))
  
  for(p in targetPoint) {
    value=data[p,(3+stock.include):ncol(data)]
    out[out$mydate>=data$StockIssuing_date[p],(2+stock.include):ncol(out)]=value
  }
  #out[is.na(out)]=NA
  # 这里应该是NA 还是NaN ,一个是integer,一个是double类型
  return(out)
}
stament=as.data.table(stament)
setkey(stament,stock,mydate)
test2=stament[,(fillTdays(.SD,tdays,stock.include = F)),by='stock']

test2=stament[,.(mydate,fillTdays(.SD,tdays,stock.include = F)),by='stock']

setkey(stament,stock,mydate)